Attention Dispersion in Dynamic Graph Transformers: Diagnosis and a Transferable Fix
动态图Transformer注意力分散诊断与可迁移修复
🧭 动态图Transformer注意力分布偏移诊断与修复
Beijing Institute of Technology · University of Toronto · Hong Kong Baptist University
诊断出动态图Transformer在时序偏移下注意力分散，提出差分注意力修复，简单有效且可迁移至多种模型
📌 工作参考价值（4 点）
- 在电商推荐、社交推荐等动态图场景中，当面临时序分布偏移（如大促、季节变化）时，将标准 self-attention 替换为 differential attention，可抑制共模噪声，突出关键历史交互节点，提升预测鲁棒性。
- 工程实现成本低：仅需修改注意力计算（如对注意力分数做差分处理，抑制均值共模分量），可作为即插即用的 trick 快速集成到现有 Transformer 推荐模型中。
- 可利用注意力熵等指标监测模型是否出现注意力分散，作为数据 drifted 或模型失效的诊断工具，及时触发修复。
- 对于基于会话的推荐系统，可借鉴 DiffDyG 架构，在保持标准输入编码的同时，采用差分注意力增强对关键行为节点的聚焦，尤其适合长序列建模。